Ông sinh ngày 8 tháng 1 năm 1934 tại Mỹ Tho, Tiền Giang. Ông thường chơi ở vị trí thủ môn. Ông được đánh giá là một trong những thủ môn xuất sắc nhất trong lịch sử bóng đá Việt Nam Cộng Hòa. Thời còn thi đấu, cái tên Phạm Văn Rạng đã lan rộng ra khắp châu Á. Báo chí nước ngoài từng ca ngợi và tôn vinh ông là "Đệ nhất thủ môn Á châu" cùng với biệt danh "Lưỡng thủ vạn năng".[1]

Ông bắt đầu sự nghiệp năm 17 tuổi trong màu áo đội Ngôi sao Bà Chiểu. Hai năm sau, ông được chọn làm thủ môn cho đội tuyển Thanh Niên. Năm 1953, ở tuổi 19 ông được tuyển vào đội tuyển bóng đá quốc gia Việt Nam Cộng hòa.[1] Cùng với đội tuyển bóng đá quốc gia Việt Nam Cộng Hòa ông đoạt Huy chương vàng môn bóng đá tại SEAP Games lần I (1959) tại Thái Lan. Đây cũng là lần đầu tiên đội tuyển Việt Nam đạt được HCV môn bóng đá tại Đại hội Thể thao Đông Nam Á.

Năm 1964, ông chia tay đội tuyển bóng đá quốc gia Việt Nam Cộng hòa, sau 12 năm trấn giữ khung thành. Nhưng, năm 1966, ở 32 tuổi, ông vẫn được mời vào đội tuyển Ngôi sao châu Á thi đấu với CLB Chelsea của Anh.[1][2] Trận đấu kết thúc với chiến thắng 2 – 1 dành cho đội tuyển Ngôi sao châu Á. Các báo Malaysia và khu vực đã cùng bình luận rằng: người có công lớn nhất cho chiến thắng của đội tuyển châu Á chính là thủ môn đến từ Việt Nam có tên Phạm Văn Rạng.[2]

Sau trận thắng để đời ấy, ông chính thức nói lời chia tay với bóng đá để mưu sinh với nghiệp công chức quan thuế (hải quan ngày nay) ở các tỉnh miền Đông và miền Tây Nam bộ cho đến năm 1975.

Ông có một cuộc sống cơ cực từ sau 1975.[2] Có những lúc ông từng là bảo vệ về đêm cho doanh nghiệp nước ngoài, nhờ vào khả năng nói được tiếng Pháp.[1] Vào những năm cuối đời, ông được các cựu tuyển thủ vang bóng một thời như Phạm Huỳnh Tam Lang, Dương Văn Thà, Võ Thành Sơn, Tư Lê, Hồ Thanh Cang,...cùng nhiều người hâm mộ đã giúp xây dựng cho một ngôi nhà cấp 4 tại sân bóng Thuận Kiều, Quận 12, Thành phố Hồ Chí Minh.

Ông qua đời ngày 7 tháng 11 năm 2008 sau cơn đột quỵ.[1]